AI Papers Daily

#Code Execution

2 篇

OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents

OS-Helix：统一 GUI 交互与代码执行的计算机使用智能体

🧭 GUI 与代码统一动作空间的计算机使用智能体

University of Science and Technology of China · Shanghai AI Laboratory · National University of Singapore · Shanghai Jiao Tong University · Fudan University

端到端训练统一 GUI 动作与代码执行空间，结合 SFT 与在线 RL 将 OSWorld 成功率提升至 66.44%

📌 工作参考价值（4 点）

• 对需要同时操作 UI 与调用代码的 Agent（如电商 RPA、浏览器自动化、商家后台操作），不要靠 prompt 级工具组合，而应把 GUI 动作与代码执行放进统一 action space，通过混合数据 SFT 内化 GUI/code 路由，避免“加 code tool 反而变差”的退化。
• 用 application–artifact composition 生成带真实文件状态的可执行任务，配合 decoupled instruction/evaluator 产出可自动验证的监督数据，适合电商场景批量构建可执行的 ground-truth 与回归评估集。
• Step-balanced GSPO 按 action step 而非 token 聚合 importance weight，是处理长代码动作与短 GUI 动作异质序列的 RL 稳定技巧，可直接迁移到多步推荐、对话式操作、工具调用等 RL 训练。
• 冷启动 SFT + 在线 RL 在真实桌面环境迭代，这种“先行为克隆后环境反馈”的路线对构建生产级 Agent 可借鉴；若业务无桌面环境，可参考其可验证状态设计来构造环境反馈。

Agent | 2026-10-15 | cs.LG | score 6/10

GUI AgentCode ExecutionUnified Action SpaceOnline RLStep-balanced GSPOMultimodal

Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens

更少 Token 更好行动：成功率升 14%、Token 省 65% 的机器人 Agent

🧭 VLM Agent 代码执行与选择性观察

Peking University · National University of Singapore · NVIDIA · Impossible Research

PyRUA-Lean 用代码执行+选择性观察，同等调用预算下成功率 63.1%→71.7%，Token 省 65%

📌 工作参考价值（4 点）

• 用 Python 代码块代替多轮 tool-calling：将多个工具调用组合成可执行 cell，包含条件判断和局部重试，减少 LLM 往返；在电商 Agent 中可把「查询商品→筛选→比价→生成文案」编码为模板化代码，LLM 只填参数。
• 选择性观察：不让 Agent 每次接收完整环境状态/全部候选商品，而是显式请求所需字段（价格、库存、历史行为），降低输入 token；类似 RAG 按需取上下文。
• 局部重试机制：在代码块内处理可预见失败（API 超时、无搜索结果、价格变动）而不回传 LLM，只在需要重新规划时才调用 LLM，可显著降低调用次数。
• 同等调用预算下提升成功率：省下的 token 可用于更多次 LLM 调用或更复杂规划，在固定成本内提升推荐/搜索效果。

Agent | 2026-09-30 | HF Daily | score 7/10

VLM AgentCode ExecutionSelective ObservationToken EfficiencyTool Calling